PACERec：基于协同证据的 LLM 物品嵌入渐进自适应用于推荐
🧭 LLM 表征适应 · 长尾序列推荐 ★ 深度解读
Northeastern University · Ant Group
用 flow matching 学共享速度场，将静态 LLM 物品嵌入渐进适配前序行为目标，实现无 ID 长尾序列推荐
📌 工作参考价值（4 点）
- 电商冷启动 / 长尾 item 可直接复用无 ID 思路：用 frozen LLM embedding 对商品标题/描述编码，经两层 MLP 降维到推荐主模型维度，PCA 初始化投影层保留语义几何；新商品只要有过文本属性就能拿到有效表示，避免长尾 ID embedding 欠训。
- 离线构造行为目标成本低且有效：对每个 item，取训练序列中它前面 L 步内的前驱 item 初始语义向量，按 recency 指数加权平均 + norm matching + clip，生成固定的 behavior target；这相当于给每个 item 一个“用户接下来会买什么”的监督信号，可以离线一次算好，训练时直接当 flow matching 的 target。
- 只对频繁 item 监督、共享速度场推断长尾：设置频次阈值 κ，只让 c_i≥κ 的 item 参与 flow matching，loss 用 sqrt(c_i/(c_i+c0)) 做 confidence weighting；学到的 velocity field 以 item semantic source 为条件，长尾甚至零交互 item 也能直接过 flow 得到行为适应表示。工程上可离线缓存全量 adapted embeddings 供后续双塔/序列模型使用。
- 排序层加参数无关语义相似度旁路：在 frozen LLM 空间对用户最近 history 加权池化得到 semantic query，与候选 item cosine 相似度做 per-user z-score 标准化，再和 preference score 加权融合。这个旁路对 tail 指标提升明显，权重用 validation 上固定值选择即可，不需要可学习参数，部署简单。
先试后演进：基于排名评分短试炼的推荐系统递归自改进
🧭 推荐系统递归自改进 · LLM 代码进化 ★ 深度解读
University of Science and Technology of China
RecRSI 用短训练+probe全排序NDCG@10试炼筛选LLM候选训练编辑，再full retrain最优编辑，大幅提升自进化效率与效果
📌 工作参考价值（4 点）
- 在 LLM 改写训练 recipe / pipeline 的自进化流程中，不要逐条 blind full retrain；让 LLM 生成 K=3 个覆盖 loss、sampler、optimizer、architecture 的候选 edit，先做 short trial：从同一初始化训练前 15% steps，用 probe 用户的 full-ranking NDCG@10 打分，再只 full retrain 最高分 edit。
- 必须做用户切分隔离：probe users 用于 early stopping 和 trial 选择，select users 用于 promote 决策，Test 只在最终看一次；避免反复比较把验证集选到过拟合。
- 当候选修改了 loss / negative sampler / optimizer 时，训练 loss 尺度不可跨候选比较；要用不受训练目标影响的真实业务核心指标（如 NDCG/GAUC）做 early signal，这条对电商/广告 auto-tuning 同样成立。
- 把 parent recipe 的 trial 分数作为 reference：如果所有候选 trial 都不超过 parent，可以跳过本轮 full retrain；论文中可省下 5/7 次未 promote 的 retraining。静态检查 + smoke test 先过滤不能跑、可能改评测逻辑的 edit。
用户历史中的个性化物品表示 PRISM
🧭 序列推荐 · 个性化历史表示 ★ 深度解读
Meta MRS · Facebook Discovery
复用上游排序计算，为每个用户-物品对生成个性化历史嵌入，提升下游序列推荐质量
📌 工作参考价值（4 点）
- 复用上游排序器中间状态：不需要为历史序列单独训练一个 user-item 模型，而是从现成的 ranker 中提取 user tower、user-item tower 和 session mixing 的隐藏层，用 autoencoder 压缩成一个固定维度的 event embedding。这样可以把昂贵的个性化计算摊销到上游推理，下游只读取轻量向量。
- 多层状态联合压缩：将 user 状态、pair 状态、同请求候选混合状态的所有层 concatenate 后做归一化，再用一个带重构损失的 autoencoder 压缩到 128 维。注意对每一部分做 per-part normalization 控制尺度，并用 softsign 限制输出范围；重构损失只更新 encoder/decoder，不干扰主任务。这比只取最后一层或简单 pooling 信息更丰富。
- 个性化历史长度存在幂律收益：实验测得 NE 提升随历史长度 L 呈 ~L^0.468 增长，说明保留更多个性化事件是有持续收益的，但边际递减。业务上可以据此做 ROI 分析，选择合适的历史长度与存储成本。
- 工程落地细节：导出的 embedding 采用 INT8 量化，附带时间戳和生成器版本，下游通过版本化投影矩阵读取，兼容模型迭代。这种版本管理对线上推荐系统很实用，避免旧 embedding 失效。
当扩散推荐停止采样：保留生成多样性
🧭 生成式推荐 · 潜在扩散与采样多样性 ★ 深度解读
Criteo AI Lab · Sorbonne Université · CNRS · ISIR
DARTS 用三阶段潜在扩散解耦表示学习、生成与排序，缓解采样坍缩并提升排序精度
📌 工作参考价值（4 点）
- 业务上可直接复用三阶段解耦：先用 masked item modeling 冻结 item latent space，再在固定 latent space 里训练 diffusion，最后只 fine-tune decoder 做排序。不要在图里一边训扩散一边让 representation 漂移。
- 不要在 diffusion 轨迹上加 catalog cross-entropy/ranking loss：实验表明哪怕 α=0.1 的 CE 也会把采样方差比 R 从 0.30 打到 0.14、PR 从 4.7 打到 1.5，且 NDCG 不升反降。生成阶段就只做 latent regression，排序监督延迟到 decoder。
- 推理时用 posterior-predictive aggregation：同一 context 采样 M 个 latent，decoder 输出的 catalog softmax 做算术平均再排序，固定 slate size 下能稳定提升 NDCG。注意吞吐会降，但单样本已经比 DiffuRec 快 3.6 倍且指标更好。
- 采样多样性要有独立诊断指标：只报 Jaccard 会误读低质量乱序；建议同时看 latent 空间的方差比 R 和 participation ratio PR，区分“量级小”与“方向坍缩”，避免把 decoder 敏感性当生成多样性。
REGER：用语义ID显式建模物品关系做生成式推荐
🧭 生成式推荐 · Semantic ID 与偏好蒸馏 ★ 深度解读
University of Electronic Science and Technology of China
通过语义邻居生成预训练、SID边界局部注意力与分层偏好蒸馏，显式建模生成式推荐中的物品语义与协同关系
📌 工作参考价值（4 点）
- GSR 语义邻居生成预训练可借鉴：对电商/长尾 item，在 GR 训练前先让 encoder-decoder 从源 item SID 生成 top-K 语义近邻 SID，使 token embedding 与 backbone 继承内容相似性，适合冷启动物品和稀疏交互场景。
- ITSA 的混合注意力值得落地：在历史编码器里保留一部分 global head，同时增加 item-local head，只允许当前 item 与前一 item 的完整 SID 之间 attention，显式建模相邻 item 的定向转移，不增加参数，可迁移到现有 T5/Transformer 编码器。
- HCPD 蒸馏很实用：用线上判别式模型（如双塔或 SASRec）的偏好分，在 SID 前缀树每个合法 next token 上构造条件分布，对 ground-truth 前缀做 KL 蒸馏，能利用候选 item 相对排序信息，比 CE 单点监督更好；训练开销低，推理零额外成本。
- 工程注意点：HCPD 需要在每个 prefix 对 legal tokens 重归一化，避免 full vocabulary 概率干扰；蒸馏权重 λ 与 local/global head 比例建议按数据集调参，Beauty/Sports 约 0.8，Toys 约 1.0。
跨 item 与 code 空间的并行生成式推荐知识蒸馏
🧭 生成式推荐 · 知识蒸馏跨 item/code 空间 ★ 深度解读
The Hong Kong University of Science and Technology · University of Science and Technology of China
用 item 空间分布匹配和 code 边际匹配两个蒸馏目标，把序列模型的软分布迁移到并行语义 ID 推荐器
📌 工作参考价值（4 点）
- 已有并行 SID 生成式召回/排序模型（如 RPG、AsymRec）只吃 hard label，可以低成本引入预训练 SASRec 之类的 item 级 teacher 做软标签蒸馏，线上推理不增加 teacher，只换训练目标。IDM 提 Recall，CMM 提 NDCG，可按业务指标侧重选择。
- 跨 space 投影实现简单：用固定 item-to-code 分配矩阵 M_h，正向 M_h 聚合 student 各 head logits 成 item 分数，反向 M_h^T 聚合 teacher item probs 成每个 code position 的 marginal，代码量小、可复用。
- 训练时注意 loss 尺度：hard label 和蒸馏 loss 梯度范数差异大，先用若干 batch 计算两者梯度 L2 范数比的中位数做系数校准，再加线性 ramp 逐步引入蒸馏，能避免训练初期的破坏性梯度。
- 若要同时拿召回和排序收益，建议分别训练 IDM 和 CMM 两个学生，线上做 score-level fusion（如 0.5/0.5），比 joint training 更稳；teacher temperature 用原始分布即可，不要提前做温度平滑或锐化。
贝塞尔引导自适应流用于跨域序列推荐
🧭 跨域序列推荐 · 贝塞尔流
Anhui University, China
提出 BGAFlow，结合 LLM 共享语义空间与个性化 horizon，用条件贝塞尔曲线和残差流实现跨域兴趣状态自适应迁移
📌 工作参考价值（4 点）
- 跨域迁移不要用全局对齐，可按用户兴趣重叠度估计个性化 horizon 控制迁移强度；电商跨场景（短视频→货架、直播→商城）可借鉴，避免向低重叠用户注入无关表征。
- 用 LLM 推断用户画像来辅助双域共享语义空间预训练，适合冷启动和少行为用户；工程上可把 LLM 画像向量作为跨域 embedding 初始化的辅助特征。
- 贝塞尔曲线 + 残差流提供了一种可学习的平滑轨迹约束，可尝试把用户多会话兴趣漂移建模为带控制点的状态演化路径，而不是离散的状态转移。
- 轨迹正则化能抑制跨域学习中的噪声和突变，在多域推荐/多任务学习中可作为稳定的域间表示约束。
重要处再深想：序列推荐中物品级自适应递归计算
🧭 序列推荐 · 自适应计算深度
Gaoling School of Artificial Intelligence, Renmin University of China
LoopRec 把序列推荐从固定深度改为逐 item 可退出递归，无需深度标签即可适应多 backbone 并稳定提升效果
📌 工作参考价值（4 点）
- 行为序列建模可借鉴：用单个权重共享 block 替代固定堆叠层，在每层后为每个 item 加轻量 gate 做 exit/continue 二选择，既省计算又可提升效果，适合 Transformer、SASRec 等 backbone 改造。
- 训练无需物品级深度标签，工程上更易落地：可先固定最大递归深度 K，让 gate 自动学习哪些 item 需要深计算；如果要控制算力，可以在损失里加预算正则或直接设置更小的 K。
- 诊断结论可迁移到电商序列/CTR 模型：序列里多数历史 item 浅层就稳定，少数关键 item 需深推理；可对低频商品、近期交互、高相关商品分配更多计算或额外交叉深度。
- 部署时注意动态递归带来变长计算：同一 batch 内不同 item 退出步数不同，可考虑按深度分组推理或设置最大深度兜底，低延迟场景尤其重要。
面向生成式推荐的邻域感知遗忘
🧭 生成式推荐 · SID 邻域感知遗忘 ★ 深度解读
BIFOLD & TU Berlin, Germany · University of Amsterdam, The Netherlands
NAU 结合 SID 级遗忘目标与邻域概率质量控制，消除生成式推荐遗忘对共享 token 邻近物品的泄漏，保持超 95% 重训效用
📌 工作参考价值（4 点）
- 在 SID / Semantic ID 生成式推荐中做遗忘时，不要只对目标 item 做 gradient ascent，要在 loss 中显式加入邻居概率质量项；λ_n 取正保留合法邻近替代品（spam 删除），取负抑制相似语义邻居（不想推的类目），一个参数控制两种删除场景。
- 评估遗忘效果不能只看全局 NDCG，必须增加“被删 item 的 SID 邻域”上的 utility/exposure 指标；本文显示全局 NDCG 几乎不变时邻域 NDCG 可能掉 13 个百分点以上。
- 工程上可复用 retain+forget+separation+neighborhood 四类 loss 组合，无需二阶信息，模型架构和 SID 保持固定，推理时也不做候选过滤；遗忘耗时 3.7s vs retrain 17,399s，适合频繁删除请求。
- 邻居构建可以直接用 pre-quantization embedding 的 top-k（k=8），评估用 SID 第一 token 邻域；这种结构对商品语义编码相似的电商场景可快速迁移。
稀疏先验正则化目标缓解序列推荐流行度偏差
🧭 流行度偏差缓解 · 稀疏概率训练目标 ★ 深度解读
Sber AI Lab · Lomonosov Moscow State University (MSU) · HSE University
把流行度先验注入 entmax 变分目标，让稀疏支持集由上下文与流行度共同决定，仅改 loss 即可去偏
📌 工作参考价值（3 点）
- 可直接作为训练目标替换：在 SASRec/GRU4Rec 等序列召回中，把 softmax CE 换成 PR-entmax，只需在 logits 上加 γ log q 后过 entmax，损失用 Fenchel-Young；线上推理仍用原始 logits，避免改变线上打分分布。q 可用训练集 item frequency 估计，属于离线固定先验。
- 超参搜索经验：α 在 1.2–1.6 且 1.5 附近 robust；γ 控制 debias 强度。电商可先固定 α=1.5，单独扫 γ，用 NDCG-Coverage/Novelty Pareto 前沿选点，而不是只看单点；同时用 Lorenz-style 曝光曲线观察头部集中度。
- 大 catalog 落地注意：entmax 需要迭代求阈值 τ，训练比 CE 慢约 20%，但无额外显存；若 item 量极大，可先在 sampled softmax 基础上做稀疏化或在小流量验证。该方法无架构改动，适合作为现有 pipeline 的轻量去偏插件。
基于强化学习与保形动作集的序列推荐
🧭 RL + Online Conformal 动态候选集 ★ 深度解读
University of Pennsylvania · Washington State University
用 critic gap 打分和在线保形阈值动态裁剪候选集，在不增大 set size 下提升 catalog diversity，并给出有限会话价值界
📌 工作参考价值（4 点）
- 把固定 top-M slate 换成 critic gap 打分 + 在线阈值裁剪：在粗排/召回到精排链路中，用\( g_\theta(s,a)=\max_b \hat Q_\theta(s,b)-\hat Q_\theta(s,a) \) 和阈值 \(\tau_t\) 动态决定候选集，同样 size cap 下能显著提升 catalog diversity 和 ILD，适合新品/长尾曝光和多样性约束场景。
- 阈值更新只需要 binary miss 信号：\( e_t=1\{C_t\cap \tilde A_{\varepsilon,t}=\emptyset\} \)，然后 \(\tau_{t+1}=\tau_t+\eta_t(e_t-\alpha)\)。实现简单、不需要真实 \(Q^*\)，可做成精排后的动态截断层，阈值快更新、critic 慢更新。
- 把“候选集是否包含好 item”和“下游 selector 是否选中好 item”解耦，对应 filtering loss 与 selection loss。业务中不要只看召回命中率；若重排/用户选择会选差，retention 保证没有意义，应分别优化覆盖与选择策略。
- 注意 item-level MDP 条件：如果 reward、退场或 position bias 依赖整个 slate/collection，则必须把 collection 当 action；click/like reward 也不直接等价 session depth。此方法收益主要是曝光多样性提升，不是点击/LTV 全面大幅提升。
CutBCE：大词表序列推荐的高效 BCE 损失与梯度内核
🧭 大词表 BCE 训练优化 · TPU Kernel ★ 深度解读
Google Cloud
CutBCE 通过分块重算与稀疏修正避免 [B,N,V] logits 驻留 HBM，在 876k 词表上将训练显存降 65.7%、速度提 225.9%
📌 工作参考价值（4 点）
- 训练多标签召回/序列模型时，用分块 BCE：把 BCE 写成 max(x,0)+log(1+e^{-|x|}) 减去 y*x，按 vocab chunk 计算并立即释放，避免 [B,N,V] logits；PyTorch 里可实现为 chunked loss 或自定义 autograd.Function。
- 反向不要存完整 logits：自定义 VJP/rematerialization 只保留 activations、embedding 和稀疏 target IDs，逐块重算 logits 和梯度；对电商百万级 catalog，这是时间换空间，在 TPU 上因减少 HBM 往返甚至更快。
- 如果部署在 TPU/JAX，可以用 Pallas 把 embedding 梯度累积在 VMEM，降低 HBM 读写；动态查询 VMEM 预算并做序列 chunking，分布式训练用 shard_map 显式控制 psum 和 vocab_offset。
- 训练监控用 count-based 指标：前向直接统计 TP/FP/FN/TN 获得 accuracy/precision/recall/Fβ，不要为监控重建全量 logits，保持低显存。
并非全部丢失：修复个性化编码器中的有损用户偏好状态
🧭 推荐系统偏好状态事后校正 ★ 深度解读
KDM Lab, Dhirubhai Ambani University · LCS2 Lab, Indian Institute of Technology Delhi · Dhirubhai Ambani University
提出 REPAIR，利用冻结编码器缓存修复偏好状态，在不改编码器和任务头下提升推荐与个性化生成
📌 工作参考价值（4 点）
- 对已部署的推荐模型，可在不重训编码器、不增加线上编码成本的情况下，插入轻量 REPAIR 模块，直接复用前向计算中已有的逐 timestep 缓存，修复压缩后的用户偏好状态，提升 MRR/nDCG；实验显示仅微调任务头提升很小（如 Mamba4Rec +0.19 MRR），而修复状态本身能带来 +3.96 MRR，说明瓶颈在状态压缩而非头部，排查效果时应优先检查状态表达。
- 修复模块采用低秩可学习模式（K=128）和长/短/片段三时间基函数，是即插即用的工程组件；可借鉴其选择性写回与残差融合设计，控制线上额外延迟（论文报告延迟开销 38-44%）。
- 对于 LLM 个性化生成，可将修复后的状态映射为连续前缀喂给冻结 LLM，在 PerSEval 个性化指标上提升显著（IMPerSumm +25.23%），但通用生成指标变化不大，提示在评估个性化生成时需单独使用个性化敏感指标。
- 训练目标中加入位置和源一致性辅助损失，可稳定修复模块对证据来源的追踪，在电商多行为序列建模中可借鉴该思路，让修复更可解释。
行为引导稀疏路由的序列推荐
🧭 行为引导的MoE序列推荐 ★ 深度解读
Korea Advanced Institute of Science and Technology · Seoul National University
用会话行为线索（节奏/主题/记忆/流行度）引导MoE稀疏路由，让不同行为模式的会话走不同计算路径
📌 工作参考价值（4 点）
- 电商/广告序列推荐中，可以用日志侧特征构造行为线索作为MoE路由信号：从timestamp算interaction tempo，从类目标签算focus/switch rate，从item id算repeat/carryover，从训练集频次算popularity tendency；这些信号在预测前可算，且比纯hidden state更能反映会话行为差异。
- 分层稀疏路由值得借鉴：先由行为线索选 top-k 专家组（如tempo/focus/memory/popularity各组），再在组内结合当前hidden state选专家；组选择保持行为语义，组内选择保留位置级适应。
- 训练时不要用load balancing，改用route consistency + z-loss：前者让相似行为session的路由分布接近，后者压制路由logit过大；论文显示load balancing会伤害行为依赖分配。
- 多尺度路由（macro/mid/micro）对电商session有效：跨历史、当前会话、最近局部窗口分别聚合线索，macro/mid共享、micro随位置重算；若缺少类目或时间特征，可退化为sequence-only线索，仍能保持竞争力。
跨国家代码混合的生成式推荐
🧭 生成式推荐 · 跨国家 code-mixing ★ 深度解读
Alibaba International Digital Commerce Group
将多语言 code-switching 思想迁移到跨国家生成式推荐，用 token 级双约束替换和上下文自适应重加权，使小市场显著受益
📌 工作参考价值（4 点）
- 跨市场 ID 隔离时，先建共享语义 codebook（多模态内容 + 跨国家行为 i2i 采样 softmax + RQ-VAE），再在 token 级做数据增强；这比直接替换 item ID 更可控，适合跨境电商/广告召回。
- 替换条件要叠加“静态语义”和“动态市场属性”：token Hamming 距离约束捕获协同结构，价格/热度/受众按国家分位桶化后余弦相似度捕获市场适配；只靠内容相似会掉点。
- 对合成样本引入 stop-gradient 上下文权重 w=Pθ(y'|x)/(Pθ(y|x)+Pθ(y'|x))，训练中原序列做分母，可自动降低不合语境的替换；默认 p=10%、k=10%、λ=0.5 有较好鲁棒性。
- 上线指标参考：离线看国家分层平均，A/B 全量 10% 流量得到广告收入 +1.77%、订单 +2.64%，适合直接作为跨市场生成式推荐 ROI 预期。
LSF-SR：基于流式条件变分自编码器的序列推荐潜在语义融合
🧭 序列推荐 · LLM 语义融合 ★ 深度解读
National Yang Ming Chiao Tung University · National Chung Hsing University
用流式 CVAE 融合协同 ID 与 LLM 语义，缓解分布错位并提升长尾推荐
📌 工作参考价值（4 点）
- 语义信号只做 item-level 离线 profile：用 LLaMA 生成 item 描述 + SimCSE 抽取语义向量，避免用户级实时 LLM 调用；电商场景可离线批量构建 item 语义库，推理时只查表。
- 不要简单 concat 或 late fusion：LLM 语义 embedding 呈现高相似度聚类，协同 embedding 近似高斯，直接用会错位。可借鉴 CVAE 条件融合 + planar/radial flow 学习非高斯后验，把 item ID 映射到语义条件约束的潜在空间。
- 训练细节：推荐 loss 用全 catalog softmax，KL 只在序列 item 的随机路径上计算，全 catalog 推理走确定性路径；VAE 融合模块需要 cyclical KL annealing，避免 posterior collapse，比固定/线性/sigmoid 更稳。
- 冷启动/长尾收益明显：论文在 tail items 上相对最强 LLM baseline 的 NDCG@20 提升 22.88%/18.50%，说明语义条件能按语义相关度而非流行度放置尾部 item；适合商品目录长尾、新品冷启动。
平衡试新与复购：按需配送场景的混合序列Transformer-GBDT排序器
🧭 排序模型 · 序列推荐 · 混合架构
Wolt (DoorDash, Inc.)
生产级统一排序器UVR结合双向Transformer序列编码与GBDT，通过标签平滑和试新偏置采样提升商家试新率
📌 工作参考价值（4 点）
- 混合架构值得借鉴：用双向 Transformer encoder 学习用户序列并输出 embedding，作为特征输入 GBDT ranker，兼顾序列建模能力与 GBDT 对表格特征、业务规则（局部配送约束）的处理便利性，适合需要快速迭代和可解释性的工业排序场景。
- 试新/复购权衡的调参 trick：通过 trial-biased sample weighting（提高试新样本权重）和 label smoothing 引导模型推荐新商家，同时离线监控 reorder MRR 的退化，在线用融合指标 Global CVR 兜底，可在电商新品冷启动或类目探索中复用。
- 跨域统一排序模型：将餐厅和零售四个独立模型合并为一个 UVR，共享用户序列表示，不仅提升试新率还简化 serving stack，减少多模型维护成本，适合多业务线推荐系统整合。
- 离线/在线指标拆分：离线分别评估 trial MRR 和 reorder MRR，发现试新提升伴随复购下降，但在线核心指标稳定；建议业务中定义融合指标并分层监控，避免单一离线指标误导。
显式后验物品条件化的语义 ID 扩散推荐
🧭 生成式推荐 · 语义 ID 扩散去噪 ★ 深度解读
VinUniversity · Griffith University · Aalborg University
在语义 ID 扩散解码中显式构造可行物品后验并回注 token logits，使物品竞争在目标仍可达时发挥作用
📌 工作参考价值（4 点）
- 在生成式推荐/SID 模型的迭代解码里，不要只盯着 token logits：每个中间状态可以用倒排索引或字典树快速得到与已解析 SID 一致的候选商品集合，显式计算 item posterior 再边际化回未解析位置。这能减少早期 token 决策误杀高潜商品的问题，尤其适合候选集较大的电商目录。
- 训练时用 frozen backbone + 轻量 adapter，只在候选集大小 2~M 的 frontier 状态做 item-level 监督，并用 SID 或语义编码距离给 heavily masked 状态做软标签。新增参数很少（论文中 0.39M），线上仅多一次候选扫描和 attention，不增加 backbone forward，适合在已有排序/生成模型上增量上线。
- 要把候选 proposal 和偏好打分分离：候选集剪枝可以用 backbone token likelihood，但 item posterior 的 energy 不要再加 token likelihood，否则会重复使用同一信号并损害 ranking。融合 token 和 item 证据时，可用 signed log-residual + ambiguity-aware gate，而不是简单凸混合。
- 历史交互建模使用 candidate-conditioned transition evidence：让每个候选商品与用户最近 K 个交互做 attention，并拼 element-wise product 和 absolute difference 特征，使不同候选从不同历史获得支持；这比单一 pooled history vector 更有区分度，可用于电商中的下一件购买、搭配推荐或广告候选打分。
序列推荐中的快慢双系统自适应推理框架
🧭 自适应快慢推理 · 序列推荐 ★ 深度解读
City University of Hong Kong · University of Electronic Science and Technology of China · Shanghai Jiao Tong University · Fenz.AI · University of Science and Technology of China
提出 DS-Frame 插件式快慢推理框架，用样本级路由只对难样本做多步 latent refinement，在 SASRec/BERT4Rec 上平均提升约 7%
📌 工作参考价值（4 点）
- 在不改主排序模型架构的前提下，把「一次性前向」升级为「共享 encoder + 轻量 slow path + 路由 gate」。线上可以按 latency budget 调整慢路径激活率或阈值，适合精排/粗排做样本级算力分配。
- Selector 训练直接用 fast/slow 的 loss + 成本比较构造 oracle 标签，再用 budget regularizer 约束激活率；这种方法不用额外标注，业务里可先在离线训练 gate，在线只过 MLP，成本可控且路由可解释。
- Slow System 不重新 encode 整条用户序列，而是在共享表示后逐步拼接 reasoning token 做 latent refinement；配合 step embedding、KL 连续性和渐进温度退火，能稳定多步推理。可迁移到 LLM-based Rec 或 Agent 生成中间推理轨迹时稳定输出。
- 评估不仅看整体 NDCG/HR，还按用户历史长度和物品流行度分层看 group-wise 收益。电商推荐中长历史、小众兴趣用户往往是难例，这种分层能直接看到自适应推理是否真的补到短板。
双边状态空间模型：非随机多模态评论反馈的序列推荐
🧭 双边状态空间序列推荐 · 非随机多模态反馈 ★ 深度解读
Emory University
提出 TS-SSM，同时更新用户与物品状态，利用模态缺失模式与正负反馈不对称衰减，Recall@20 平均提升 14.8%–18.8%
📌 工作参考价值（4 点）
- 将「是否传图、文本长度偏差、评分偏差」作为模态可用性/历史偏差特征，而不是简单缺失掩码：电商推评中可构造类似 δU, δI 的特征，提升对异常满意/不满意的捕捉；即使只有评论文本，text-length deviation 也有效。
- 物品侧维护动态 latent state + 正负反馈不对称衰减：比静态 item embedding 更贴近商品口碑演化，尤其适用于差评长期影响的商品降权或商家质量分；负反馈 decay 更慢，可作为业务策略参考。
- 局部图传播以最近交互商品为 anchor，向同图邻居传递偏好更新，可低成本迁移到召回后重排或实时特征：差评某商品后提高相似替代品权重。
- 工程上：对非目标候选做最新状态 + 时间对齐 gate，避免全量实时更新；辅助预测 drift/carryover/conflict proxies 帮助状态解耦，可在排序模型训练中借鉴。
面向微视频推荐的谱分解偏好流匹配框架
🧭 多模态微视频推荐 · Flow Matching ★ 深度解读
National University of Defense Technology · National University of Singapore · Zhengzhou University
用频谱分解将帧级视频表示解耦为静态与动态因子，并以条件流匹配建模偏好转移
📌 工作参考价值（4 点）
- 视频/短视频推荐中，不要只对帧级特征做整体平均池化；可借鉴 SSF 把帧序列经 rFFT 后在频域用可学习软掩码分离静态语义与动态因子，避免两类信号互相干扰。
- 若业务已用扩散或 Flow Matching 做序列建模，可参考 x1-parameterization 直接预测目标 item 表示，推理时用少量 Euler 步（文中 10 步）即可，训练目标只用 L_rec + L_CFM，计算和显存显著低于扩散模型。
- 用户对内容静态/动态成分的偏好存在异质性；可引入一个基于用户行为序列的 intent gate 动态加权静态与动态上下文，作为条件注入生成过程，提升个性化。
- 在物品侧交互稀疏的场景下，把多模态内容因子作为生成式过程的结构化条件，比单纯作为附加特征更有效；尤其适合冷启动或长尾内容推荐。
用于顺序推荐的哈密顿谱-时间耗散动力学
🧭 序列推荐 · 二阶动力学与频域建模 ★ 深度解读
The Hong Kong University of Science and Technology
将用户偏好演化建模为耗散哈密顿系统，用频域谱传播与动量外推提升序列推荐
📌 工作参考价值（4 点）
- 可借鉴「位置+动量」的二阶状态设计：在电商会话或广告点击流中，用户兴趣常出现惯性回摆（看了一圈商品后回到原品类）和短期热点偏离，传统一阶 RNN/Transformer 只更新当前隐状态，难以表达这类动态。可以在现有序列模型里增加一个动量通道，并用阻尼项衰减短期冲动，物理先验能提升稀疏行为建模。
- 频域传播用 RFFT/IRFFT 将长序列演化降到 O(T log T)，且参数量少。工程上可直接用 GPU 上的批量 FFT 替代标准 self-attention 的长程依赖建模，在用户行为序列很长时能显著降低延迟和显存；但需注意 FFT 分支不适合超短序列，需配合局部卷积。
- 局部脉冲分支（DWConv1D + 门控融合）专门处理突发点击和噪声，与全局平滑轨迹互补。电商推荐里常有大促、直播带货等短期爆点，可以在主模型旁路加一个轻量局部卷积分支，用 sigmoid 门控融合到最终表示，提升对热点的响应速度。
- One-step phase-space extrapolation 用当前动量外推下一步状态，而不是只取最终位置。这种「预测用户去向而非现在在哪」的思想适用于 next-item、next-query 或 push 消息生成，可以在推理时把趋势方向作为额外打分信号。
保持索引开放：共享搜索与推荐系统的推荐侧成本
🧭 双塔检索 · 冷启动与统一索引 ★ 深度解读
Amazon Web Services
量化双塔架构在统一搜索推荐索引中的推荐侧损失与冷启动收益，揭示训练目标的质量-规模权衡
📌 工作参考价值（5 点）
- 双塔架构同时服务搜索和推荐，新物品通过特征编码零样本打分，无需重训即可加入索引，适合电商新品冷启动；ID-softmax 模型需要重训才能覆盖新物品，工程上不可接受。
- 训练目标选择至关重要：full-softmax cross-entropy 比 sampled InfoNCE 在小目录上显著提升召回（MIND-small +54%，ML-1M +6.9%），但显存随目录线性增长，10万级目录即 OOM。实践中可按目录规模选择：<1万用 exact full-softmax，更大规模用采样负样本并做修正。
- 冷启动评估应使用严格 zero-leakage item holdout 协议，避免信息泄漏；特征塔 + 冷冻 CF 融合（简单标量加权）即可同时获得冷启动和暖启动双优，无需额外训练。
- 检查数据 pipeline 中的时间戳精度：float32 量化可能静默改变 LOO 目标，建议用整数时间戳并加 build gate 校验，否则跨模型比较不公平。
- 百万级以下目录，exact full-catalog scan 延迟已足够低（<30ms），ANN 近似索引没有收益且损失召回；超过百万再考虑 IVF-PQ/HNSW，但要关注索引召回对最终指标的影响。
生成式推荐中的物品分词再思考：从固定原子到语义子词
🧭 生成式推荐 · Semantic ID ★ 深度解读
University of Science and Technology of China · Huawei Technologies
提出 SST：历史侧用变长语义子词压缩 SID、目标侧保留定长解码，缓解 intra-item 注意力过载并稳定提升生成式推荐
📌 工作参考价值（4 点）
- 在 SID-based 生成式推荐中，历史侧和目标侧使用不对称 tokenization：用户历史序列用子词合并压缩，降低 encoder 的 intra-item attention 负担；候选 item 仍用固定长度 SID 生成，不破坏 beam search 解码语法。可直接作为现有 RQ-KMeans/TIGER 类线上模型的输入层改造。
- 子词合并规则可以优先尝试 CondEntropy：同时考虑 frequency、互预测性和上下文纯度，比 BPE/WordPiece 更适合推荐场景的语义耦合，尤其在稀疏或噪声较大的业务数据上更稳。
- BCA 用行为序列中语义前缀对（如取 SID 前 2 个 token）滑窗统计高频共现，把原始交互子序列作为增强样本注入训练，开销低、无需额外标注，能改善长尾 item 的曝光和 NDCG。
- 上线前可做 token-level attention workload 分析：统计 encoder 中 same-item attention 占比和 atom reassembly load，验证压缩是否真正释放了模型容量；同时注意不要将目标侧改成变长子词，否则低频语义 token 在 beam search 中会被边缘化，性能可能大幅下降。
在序列推荐中适配知识图谱进行行为去噪
🧭 知识图谱校准的行为去噪 · 序列推荐 ★ 深度解读
Northeastern University, Shenyang, China
用结构化匹配的 KG 证据离线校准样本保留系数，对历史与目标加权去噪，不改动推理模型
📌 工作参考价值（4 点）
- 电商/推荐系统常有商品知识图谱，但直接引入 GNN 会增加推理成本；AdaptedKG 的范式是离线用 KG 为每个训练样本算好保留系数，训练时只做加权，backbone 和推理流程完全不变，非常适合作为现有序列模型或去噪模型的插件。
- 结构匹配采样的去偏思路可以直接复用：对交互项按 popularity、KG degree、linkage status 分层匹配构造背景和参考集，再比较路径覆盖度/支持度，避免高流行度或高连接度 item 天然获得高置信度。
- 目标 loss 重加权公式 r_T = min(1, 2Q(...)) 简单实用：当候选 item 的 KG 支持度低于匹配参考中位数时降低其训练权重，可在电商 CTR/CVR 训练中抑制不可靠点击或误触样本。
- 方法对 SASRec、STEAM、BirDRec、SSDRec 四个 backbone 均有提升，说明这种外部 KG 校准信号与日志内部去噪机制互补，可以作为统一的上游样本置信度模块接入不同推荐模型。
SCoRD：语义辅助的 LLM 推荐检索-重排持续蒸馏
🧭 LLM 检索-重排持续协同蒸馏 ★ 深度解读
Korea University · University of Illinois at Urbana-Champaign · Sungkyunkwan University
提出语义意图助手与三阶段持续蒸馏，让 LLM 重排与轻量检索器在非平稳流中低成本高效协同更新
📌 工作参考价值（5 点）
- 在带 LLM 重排的检索-重排线上，不要对每个新数据块做全量蒸馏：用 retriever 序列内 item 对齐置信度筛选 bottom 20% 的低置信序列做 LLM 蒸馏，能显著降低 LLM 调用和训练成本，同时把增益集中在困难样本上。
- 把 LLM 的语义推理从 free-form generation 改成「动态意图记忆 + 多标签选择」，可复用为商品的 intent/兴趣标签系统；意图向量可以注入 retriever 的序列表征，增强 ID 模型的语义判别力，且推理端几乎没有额外延迟。
- 在 retriever 每日在线更新时，不重新调用 LLM，只聚合行为相似用户序列的意图分数作为 collaborative pseudo-label，能提供稳定语义监督；适合电商/信息流里每天冷启动或新增序列频繁的场景。
- 用相邻周期意图直方图差分识别衰退意图，再从 retriever 候选集里按 intent 后验采样负例，替代随机负采样，可更有效地捕捉用户偏好漂移，适合替代现有召回/排序模型中的负采样策略。
- 新用户无历史行为时，意图级语义先验能明显提升冷启动效果；可在用户冷启动阶段直接用 LLM 打好的 intent 标签作为特征或约束。
序列推荐基准是否需要高阶序列建模？
🧭 序列推荐基准评测 · 容量探针 ★ 深度解读
Spotify
用 recency 加权成对转移探针发现多数基准无需高阶建模，Transformer 增益被高估
📌 工作参考价值（4 点）
- 在电商/广告序列推荐中，先实现一个强 pairwise transition 基线（如 PCTM 或 SeqRules）作为“照妖镜”，避免被 Transformer 在弱基准上的虚假增益误导；尤其当数据规模小、用户行为以短会话为主时，简单模型可能足够。
- 评估新模型时，务必使用 full-catalogue ranking + seen-item filtering 的严格协议，不要用 sampled softmax 或 paper-to-paper 比较；否则像 TIGER 这类生成式推荐在 Beauty/Sports/Toys 上可能被简单探针反超 65-70%，说明基准本身不支撑 SOTA 宣称。
- PCTM 的工程实现很轻：离线统计有向转移计数（距离衰减），在线做加权 log-prob 求和；无 embedding、无序列编码器，适合作为召回通道或冷启动兜底，尤其适合需要快速上线的场景。
- 当你要引入 Transformer/LLM 做序列推荐时，先检查数据集是否“pairwise-sufficient”：如果成对转移+recency 已经解释了大部分 NDCG，那么高阶建模的增量有限，应优先投入特征工程或更真实的工业数据。
训练自由 LLM 推荐的后置物品精炼：利用协作信号
🧭 训练自由 LLM 推荐 · 协作信号后置精炼 ★ 深度解读
KAIST · Snap Inc.
提出 CoRRe，在不微调 LLM 的前提下，通过共购图方向传播与流行度模长校准精炼物品嵌入，大幅提升训练自由推荐效果
📌 工作参考价值（4 点）
- 在电商/推荐中，若已用 LLM 生成用户兴趣 query embedding，可对物品标题 embedding 做后处理：构建 item-item 共购图（R^T R），做对称归一化传播，再与原始语义 embedding 加权组合，无需训练就能融合协作信号，适合作为零成本召回/粗排增强。
- 物品流行度对检索分数影响显著，可对 embedding 模长做 popularity^alpha 校准；超参 alpha 通常取 0.05-0.2，数据集不同最优值差异大，建议按业务域单独验证。
- 该方法证明 pre-LLM 的 RAG/rerank 注入协作信号增益有限，post-LLM 对 item 表示直接精炼更有效；在资源受限或冷启动场景可优先尝试训练-free 后处理路线。
- 若业务有共购/共点击数据，可以完全复用该框架：用 LLM 文本编码器得到统一向量空间，再叠加图传播与模长校准，实现快速迭代验证。
层退出融合增强紧凑 LLM 的判别式序列推荐
🧭 判别式 LLM 推荐 · 层退出动态融合 ★ 深度解读
The University of Queensland · Griffith University · Edith Cowan University · University of Notre Dame
在判别式 LLM 推荐中引入多层预测出口与连续路由器，以紧凑模型实现全库排序并逼近大模型精度
📌 工作参考价值（4 点）
- 判别式 LLM 排序范式可直接用于召回/粗排全库打分：用预训练 SASRec ID embedding 投影进 LLM，取 response token 表示做 softmax，避免自回归解码，单用户推理 6-9ms，适合线上候选集大但算力受限的场景。
- 多层 exit 融合是补偿小模型的有效 trick：在 compact LLM 每层后接预测头，融合不同深度分数，实验在 Toys/Beauty/Yelp 上以 1.7B/3B 模型超过部分 4B/8B E4SRec，说明深度集成可替代盲目上大模型。
- 连续 ReLU 路由 + target-k hinge loss 可按用户序列复杂度动态选择 1~k 个 exit，避免固定 top-k 对简单序列浪费、复杂序列不足；该路由仅需训练一个投影矩阵，无额外参数，便于线上轻量自适应推理。
- 三阶段冻结训练允许共享同一 backbone 训练多个不同 target-k 的路由器，用于不同设备算力预算（GPU/CPU/边缘），对电商多端部署有直接参考价值；Z-loss 和 load balancing 可保证混合精度训练稳定。
GOD：通过深度嫁接增强序列推荐泛化
🧭 序列推荐知识蒸馏 · 组件级嫁接 ★ 深度解读
Pohang University of Science and Technology
提出组件级知识蒸馏框架GOD，将学生组件嫁接进冻结教师构造混合源模型，强化序列推荐泛化
📌 工作参考价值（4 点）
- 组件级蒸馏替代输出级蒸馏：在电商/广告点击序列建模中，若教师-学生 KD 效果受限，可尝试将学生 embedding 或 encoder 临时插入冻结教师路径，分别得到 Embed-Grafted Teacher 和 Encoder-Grafted Teacher。这样能分离“嵌入不可靠”和“编码器过拟合”两类误差，比仅匹配教师输出更适合稀疏行为数据。
- Transformer 序列模型可用 Grafted Encoding 稳定训练：将教师侧与学生侧 token 拼接，允许互注意力（mask 为四块均 causal），早期教师 token 提供稳定上下文，后期学生 token 细化表示。训练 attention 开销约翻倍，但收敛更快，且不影响线上推理。
- 推理零开销，适合轻量线上模型：混合源模型只在训练阶段使用，线上仍用原始学生模型，不增加额外耗时。对需要低延迟的推荐/广告精排模型是可落地的 KD 增强方案。
- 自适应对比权重技巧可复用：GCL 对六种表示对做对比学习，并用 batch 内平均相似度的 stop-gradient 计算权重，抑制冗余对、强调互补对。该思想可迁移到多视图对比学习、多任务蒸馏中的损失加权。
生成式推荐中的解耦时间编码
🧭 生成式推荐 · 时序解耦编码 ★ 深度解读
Rajax Network Technology (Taobao Shangou of Alibaba) · Yale School of Public Health
将宏观时间动态与微观顺序先验解耦，轻量注入 Transformer，在淘系闪购广告在线提升 CTR +1.8%、RPM +3.0%
📌 工作参考价值（4 点）
- 把时序建模拆成两条通路：输入层用紧凑 temporal primitives（recency decay、intra-day/weekly sinusoid、traffic burst）注入 item embedding；attention 层用 time-gated 的 relative-order bias，仅在时间间隔密集时激活。外卖、即时零售、广告等强时间规律场景可直接替换 RoPE/ALiBi。
- 避免大 interval embedding table，DTE 只增加 238 个参数、0.47 KB FP16，在线延迟 +0.3%。工程上很适合已有 Transformer ranking 管线插拔，不需要重构 backbone。
- 个性化时间融合：用用户历史平均池化过 MLP + softmax 为每个 temporal primitive 生成权重，而不是统一静态时间嵌入。对上班族周末/工作日、午晚餐差异明显的用户更有收益。
- 分析行为序列平均时间间隔可以指导是否启用顺序 bias：密集序列上收益最大；稀疏序列主要靠时间戳即可。可作为 A/B 分桶或模型开关参考。
EchoRec：基于循环一致偏好对齐的多Token预测生成式推荐
🧭 生成式推荐 · Multi-Token Prediction ★ 深度解读
National University of Singapore · Beijing University of Posts and Telecommunications · Tencent · Shandong University
用未来多步行为作顺序依赖的密集监督，并通过循环一致性对齐把整体偏好内化到解码表示，提升生成式推荐且在线零开销
📌 工作参考价值（4 点）
- 未来行为可作为辅助监督：在训练时挂轻量 MTP 分支预测 t+2、t+3 商品，并让每个分支条件在前一个分支表示/上一步商品上，而不是从同一隐状态并行解码；能避免多个 horizon 预测同质化，适合需要一次性生成多个候选、多创意、多坑位结果的广告/推荐场景。
- 训练时新增的辅助分支共享主模型输出头、token embedding 和 decoding graph，推理时全部丢弃，线上延迟与显存几乎不变。这适合电商/广告高 QPS 场景：用可接受的训练成本换在线零开销的指标提升。
- 若业务中需要对齐多个表示（如用户向量与多意图向量、跨模态特征、多任务共享表示），单向 alignment 可能被 projector 吸收差异，造成“虚假对齐”；加反向 projector 和 round-trip/cycle loss 可抑制这类问题，是一个可复用的训练 trick。
- 当用户行为序列较长且噪声较多时，把目标从单点 next-item 改为多 horizon 整体偏好，会提升对噪声交互的鲁棒性；论文在 20% 随机替换噪声下相对提升反而从 17.68% 增至 54.89%，对真实电商点击噪声有参考价值。
从被忽视到被探索：多视角混合恢复序列推荐中的物品关系
🧭 序列推荐 · 注意力校准 · 多视角 MoE ★ 深度解读
Pohang University of Science and Technology · University of Illinois Urbana-Champaign
识别并缓解自注意力相似性偏差，提出多视角透镜模块恢复同构与异质物品关系，序列推荐效果显著提升
📌 工作参考价值（4 点）
- 诊断注意力失效：对线上 transformer 推荐模型，在验证集上计算 last-layer attention 与因果重要性（逐个 mask item 看目标概率下降）的 Spearman/Align@1；若出现低相关或负相关，说明注意力被相似商品主导，模型实际依赖的 item 未被看到，可作为上线前诊断指标。
- 双视角轻量插件：在 SASRec/BERT4Rec 等主干层间插入 PRISM 式模块，用一个小 router 把 item 分到 K 个语义组（noisy gating），每个 lens 只对同组 key 做 mask 并 boost logits；同一模型内自然出现 Affinity（同组强化）和 Contrast（跨组恢复）两类输出，再按 g 加权融合。适合挖掘跨类目兴趣，如跑步鞋与运动水壶、手机与车载支架。
- 工程性价比：所有 lens 共享参数，每增加一个 K 仅多 2d 参数（实验中 K=8 只比 K=2 多 768 参数），训练/推理显著快于常规 MoE；可以在已有模型上以极小成本验证收益。
- 多视角训练防塌缩：如果需要序列级对比学习，使用 same-target 正样本时建议加入 stochastic perspective masking 随机屏蔽非主视角，防止不同视角被过度拉齐；同时对各视角输出做加权 SKL 一致性约束，避免直接加权和导致表示空间冲突。这个适用于多兴趣/多专家模型。
带提示条件的语义 ID 生成式推荐
🧭 生成式推荐 · Semantic ID RL 后训练 ★ 深度解读
Shanghai Jiao Tong University · Meituan
用训练期 target-prefix hint 恢复被 GRPO 零奖励样本淹没的生成式推荐信号，将零优势组从超 70% 降至 20% 以下
📌 工作参考价值（4 点）
- 在生成式推荐 RL 后训练中，监控 rollout 组 reward variance=0 的比例；该比例超过一半意味着 GRPO 更新基本无效。论文中的 unhinted baseline 在训练后期仍有 55%–63% 的零梯度组，提示这是线上生成式推荐模型的常见隐性瓶颈。
- 对 hard cases 使用训练期 target-prefix hint：离线用 SFT checkpoint 做 reachability diagnosis，只对无法在有限 rollout 内命中目标 Semantic ID 的样本提供最短前缀提示，让模型只生成 suffix。推理时不使用 hint，部署接口不变；这套思路可以直接迁移到电商 Semantic ID 生成推荐的 RL 微调阶段。
- 损失函数按 token 来源拆分：hinted prefix 是 oracle-provided context，用 SFT 前缀锚定损失保持语义对齐；suffix 是模型实际动作，用 GRPO 做策略优化。避免全序列统一 SFT+GRPO 带来的监督-策略冲突。
- 离线最小 hint 比动态 hint 更稳定且 rollouts 成本更低：可以一次性缓存每个训练样本的 hint length，训练中固定，减少训练目标漂移，业务上容易落地。
让协同信号发挥作用：面向序列推荐的图感知大语言模型
🧭 生成式推荐 · Graph-aware LLM ★ 深度解读
浙江大学 · 中国科学技术大学
将全局 item 共现关系分桶为可学习 attention bias 注入 LLM，无需外部图编码器即可联合建模语义与协同信号
📌 工作参考价值（4 点）
- 在 LLM 生成推荐候选时，用「item token + item-item 共现分桶 attention bias」替代直接拼接 CF embedding，可缓解协同表示与文本空间不对齐；工程上只加少量 bias 参数，适合 LoRA 微调。
- 共现强度用等频分桶（如 5 桶）作为离散 relation，比原始稀疏频率更稳定，且只从训练集统计；在电商 item 候选上可直接计算 item co-occurrence 或 query-item 共现并复用。
- 保留 Text-Text 与 Item-Text 关系显式建模，能减少 LLM 语义能力损失；消融显示三类关系互补，缺少任一都会掉点，尤其全局 Item-Item 关系对跨序列协同至关重要。可借鉴做「graph bias」式的知识注入，不必改 LLM 结构。
- 推理侧采用 trie-constrained beam search 限制生成到合法 item 集合，是 LLM 电商候选生成落地的必要工程手段；item token 从现有 CF 模型 embedding 经 MLP 投影初始化，可复用 SASRec 等已有向量。
决定何时依赖视觉信息：序列推荐中的门控多模态融合
🧭 多模态序列推荐 · 自适应门控融合
IKEA Retail (Ingka Group) · KTH Royal Institute of Technology
提出 VisGate，通过门控机制逐项自适应融合视觉与协同信号，并分析视觉功效的上下文变化
📌 工作参考价值（4 点）
- 在电商商品推荐中引入 item 级视觉门控，替代统一视觉融合。对视觉敏感度低的商品（如标准件、耗材）自动降低视觉权重，减少噪声；对非标品/时尚类增大权重，提升效果。
- 冷启动与稀疏交互场景：当协同信号弱时，利用门控增强视觉信号，可改善新商品或长尾商品的推荐，因为论文验证了交互稀疏下视觉效用增加。
- 视觉表征训练：采用序列共现对比学习而非简单对齐，可保持视觉与协同信号互补，提升融合有效性。可复用到多模态商品 embedding 训练。
- 将学习到的门值作为可解释性/分析工具，辅助理解商品视觉特征对转化的贡献，指导选品、内容优化或特征裁剪。
多模态序列推荐的顺序模态丢弃鲁棒性方法
🧭 多模态序列推荐鲁棒性
Stevens Institute of Technology
训练时整段历史独立擦除单模态，让多模态序列推荐在模态缺失时保持 HR@10 精度
📌 工作参考价值（4 点）
- 电商多模态序列模型（如商品图+标题描述）常遇到无图/无文本；可直接将 SMD 作为训练时模态 dropout：对每个 batch，以概率 p 对某模态在整条用户序列上置 0/掩码，让模型不依赖单一模态，实现仅需数行。
- 线上部署前用 retention 指标评估模态缺失下 HR@10 的保留比例，而非只看全模态准确率；设定服务等级，例如文本缺失时至少保留 90% 才允许上线。
- 若主模型为简单加和融合（additive backbone），可额外加 cross-modal reconstruction loss，把极端缺失下的 retention 从 90% 提升到 98%；对于复杂交互融合模型也可尝试但需验证。
- 生产数据中物品缺失比例高（如 Beauty 类文本缺失 48%），应模拟训练时高缺失率（p=0.9+）以贴近真实；SMD 在 95% per-item missing 下仍保留 61% HR@10，而未做仅 22%。
TSPORec: 基于偏好优化的LLM序列推荐令牌选择
🧭 LLM序列推荐 · 令牌选择与偏好优化 ★ 深度解读
通过偏好优化自动选择信息令牌，在提升序列推荐准确率31%的同时推理开销降低63%
📌 工作参考价值（4 点）
- 处理商品长文本描述时，可采用类似的令牌选择策略压缩输入序列，优先保留内容词（名词、形容词、实体），滤除高频功能词，在电商推荐中减少 LLM 推理延迟。
- chunk-level 选择提供了灵活的粒度控制，工程上可通过调节 chunk size 在性能和效率间取得平衡，离线预计算 item 令牌子集后直接用于在线服务。
- 偏好优化的 proxy reward 设计简单有效：对比两次采样子序列的交叉熵，无需外部标注，该范式可迁移至搜索、广告创意排序等需要精简文本输入的场景。
- 三阶段训练（预训练→策略学习→重训练）虽然额外增加训练耗时，但模型一次训练长期部署，适合推荐系统离线优化的节奏，推理效率的提升远大于训练成本。
结构保持投影缓解LLM序列推荐中的模态偏差
🧭 LLM推荐 · 模态偏差缓解 ★ 深度解读
National Taiwan University
通过余弦相似度保持与序列感知对比损失，迫使投影后的协同嵌入保留原始结构，抵消LLM对文本的过度依赖
📌 工作参考价值（4 点）
- Embedding Shuffle诊断法：冻结标题、随机打乱协同嵌入，观察性能下降幅度可直接衡量LLM对协同信号的依赖程度，适合用于评估自身融合模块的有效性。
- 结构保持损失可作为即插即用的约束：在MLP投影器后添加成对余弦相似度保持损失（MSE），或序列感知对比损失（正负样本区分），无需改动LLM结构，实现简单。
- 两段训练策略：先用纯结构保持损失预训练投影器，再联合LLM微调，可避免协同结构在语言模型训练初期就被破坏，适合在已有推荐pipeline中快速植入。
- 课程式组合损失：先用余弦相似度保持建立稳定拓扑，再渐进切换至对比损失，最大化几何保真与任务判别力的平衡，对需要同时保持物品泛化语义和序列偏好的场景（如电商多兴趣建模）有参考价值。
知识–几何解耦：流式推荐中可持续刷新的预训练迁移
🧭 流式推荐 · 预训练知识迁移 · 参数解耦 ★ 深度解读
Xiamen University · Shopee Pte. Ltd.
通过解耦预训练知识刷新与任务几何学习，使每日更新不干扰下游模型，在电商搜索中提升GMV 1.75%
📌 工作参考价值（4 点）
- BMTP 去噪预训练：仅对协同 (item co-occurrence graph) 和语义 (text embedding cosine) 相关的未来 item 做预测，过滤掉 session 边界的噪声 transition。可在行为序列预训练中引入双阈值过滤，提升知识纯度。
- 解耦读写所有权：让任务模型通过只读交叉注意力读取编码器状态，并通过正交低秩残差 (ACR) 写入任务特有几何，预训练编码器可每日刷新而不破坏下游适配。可推广到多任务排序：每个任务持有独立的 ACR 和 task learner，共享编码器。
- 工程落地友好：训练成本约为单次编码器更新的两倍，推理延迟不增加（任务 learner 仅增加旁路参数）。在实时流式场景可直接复用这种每日刷新 + 任务冻结调优的管线。
- 长期流式下的稳定性：冻结迁移 (如 GPSD) 在 90 天线上会衰减，KGD 持续有效。若自己业务面临分布漂移，可借鉴 decoupled owner 思路，避免共享参数导致刷新与任务冲突。
从未来学习：时序推荐的特权自蒸馏
🧭 序列推荐 · 自蒸馏与特权信息利用
Renmin University of China · National University of Singapore · Alibaba Group
将未来交互作为训练特权信息，通过双视图自蒸馏提升序列推荐性能，不增加推理成本
📌 工作参考价值（3 点）
- 在训练序列推荐模型时，可利用用户完整会话中的后置交互作为特权信息，构建双视图自蒸馏：一个掩码看到未来项（教师），另一个只看历史前缀（学生），共享同一 backbone，蒸馏后不改变推理模型与成本，适合对延迟敏感的电商场景。
- 动量平均教师（EMA）和优势可达门控是两个关键稳定性 tricks：EMA 教师参数随学生缓慢更新，避免噪声；可达门控根据历史前缀判断未来项是否可达，自适应加权蒸馏损失，能防止强制学习不可达的未来，可迁移到其他 teacher-student 蒸馏任务。
- 该方法可叠加到任意因果注意力序列模型（如 SASRec）上，无需单独预训练教师，端到端单阶段训练，工程实现成本低：仅需在数据加载时保留多步未来，并在 attention 层插入一个额外的未来感知掩码，适合快速实验。
IMFuse：面向LLM增强序列推荐的实例感知多层融合
🧭 实例感知多层融合 · LLM增强序列推荐 ★ 深度解读
Zhejiang University · Zhengzhou University · University of Science and Technology of China
自适应聚合LLM多层语义表示，以全局维度偏好与实例感知调制解决最终层坍塌，提升推荐质量
📌 工作参考价值（4 点）
- 多层语义融合即插即用：现有LLM增强推荐只取最终层，容易丢失中间层互补信息。IMFuse 作为轻量插件（+0.03M参数），可在不改动下游模型的情况下，将多层的维度级全局偏好与物品实例调制接入现有 pipeline，直接提升 item embedding 质量，适合快速上线验证。
- 处理不同品类/属性物品的语义深度差异：通过 instance-aware 专家调制，动态为每个 item 分配不同的层融合权重。在电商推荐中，标品（如电子产品）与非标品（如服饰）可能需要不同粒度的语义，可借鉴该思路为不同品类或生命周期阶段（新品、成熟品）定制层选择策略。
- 初始化策略与训练技巧：采用深度偏置初始化（层深度越高初始权重越大）提供弱先验，可稳定训练并加速收敛。在实际业务中，可以先从最终层权重为主开始，再让模型自主学习调整层偏好，避免随机初始化带来的不稳定。
- 参数效率与推理开销可控：训练与推理耗时相比基础方法仅增加约3~4%，适合在线服务。若担心多层编码的计算压力，可预先计算并缓存各层 embedding，融合只在 forward 时做一次加权求和，成本极低。
MEMOIR：面向偏好漂移的时序行为记忆推荐框架
🧭 时序偏好进化建模 · 对比学习 ★ 深度解读
Independent Researcher
用LLM编码时间窗口语义记忆并显式建模偏好进化轨迹，在高低偏好漂移用户上获得排序质量提升
📌 工作参考价值（4 点）
- 时间窗口语义记忆：将用户交互历史按日历月分窗，用自然语言描述每个窗口并送入 LLM 生成语义记忆嵌入，可作为电商中用户长期兴趣演化的轻量级表示。
- 进化方向一致性约束：引入 L_dir 惩罚连续进化方向向量的余弦偏差，对偏好单调漂移的用户（如从休闲转向正式）有用；在业务中可针对品类转换明显的用户群体单独启用该损失。
- 进化感知聚合：融合当前状态、进化方向与预测未来状态，让同一当前偏好但不同轨迹的用户得到不同向量，适合需要区分“新用户刚入圈”与“老用户稳定消费”的场景。
- 漂移分层洞察：论文发现 LLM 进化建模的优势集中在高/低偏好漂移用户群（NDCG@10、MRR 提升），对业务意味着可以在用户分群后对易漂移人群启用该模型，或作为重排序信号补充。
逃离欧氏空洞：面向序列推荐的流形信息流匹配
🧭 生成式推荐 · 流形校正与流匹配 ★ 深度解读
Jilin University · City University of Hong Kong
指出连续生成推荐中的欧氏空洞问题，提出训练时利用共现图锚点校正路径中间态几何的 MIRAGE 框架
📌 工作参考价值（4 点）
- 在生成式顺序推荐中，中间表征的语义空白(Euclidean void)导致生成性能下降，可通过训练时引入 item 共现图定义的邻居锚点进行路径正则化，重组织 embedding 空间
- 关键 trick：硬/软对齐锚点拉近插值态与邻居项，用时间调制 w(t)=4t(1-t) 仅在路径内部施加约束，不污染源分布和目标嵌入
- 训练时引入图结构，推理时完全图无关（zero graph overhead），可实现一步生成（one-step），效率高且精度好，适合在线服务
- 长尾物品因训练稀疏，其 embedding 几何不稳健，利用共现图邻居支持可显著提升长尾表现而不牺牲头部，值得在电商推荐中尝试
基于间隙驱动的维度门控实现零观察用户重激活
🧭 长期不活跃用户的重激活与轻量插件 ★ 深度解读
Fudan University · Huawei Technologies
冻结序列推荐骨干，用维度门控融合历史与全局先验，从长间隔中恢复预测性能。
📌 工作参考价值（4 点）
- 轻量插件复用已有模型：冻结已有推荐模型（如SASRec、BERT4Rec）的骨干，仅训练一个66K参数的维度门控插件，可在不改变线上服务的前提下恢复长间隔用户的推荐效果，适合嵌入被多个下游服务共享的场景。
- 可解释的置信度监控：输出Historical Confidence Index（各维度门控均值），可实时观察不同间隙下模型对历史表示的信任程度，辅助运维与效果归因。
- 全局先验的离线学习与更新：用一个可学习的零初始化向量作为所有用户的通用fallback，训练后固定；对于品类快速变化的电商，可定期用新数据刷新该先验，低成本捕捉流行度漂移。
- 全量微调与插件的取舍策略：当允许更新骨干嵌入时，端到端重训可带来更高收益（如Hit@10从0.031提升至0.080）；当嵌入与召回、排序模型强耦合时，插件方案以零漂移和约40倍参数节省取得60%的增益，可作为平滑上线方案。
超越噪声信号：多模态序列推荐的双层去噪框架
🧭 多模态序列推荐 · 双层图频域去噪
University of Science and Technology of China
提出图低通滤波和频域自适应滤波的双层去噪，联合清洗多模态特征与序列行为噪声，显著提升推荐鲁棒性
📌 工作参考价值（5 点）
- ### 可以借鉴到电商推荐工作中
- 特征层面图低通滤波去噪：利用物品语义图上的拉普拉斯平滑作为低通滤波器，能有效抑制预训练视觉/文本特征中与推荐意图无关的高频噪声。在构造电商场景的商品多模态特征（如商品图、描述）时，可直接复用此轻量模块，无需引入复杂注意力，计算开销小。
- 序列层面的频域去噪：通过 FFT 将用户交互序列变换到频域，用可学习的频率滤波器自适应增强良性信号、衰减异常点击等随机噪声。对于电商/广告场景中常见的误触、短暂兴趣等噪声行为，该模块能显著增强序列建模的稳定性，可插入现有 Transformer 或 SASRec 类骨干结构。
- 多模态对比对齐目标：引入跨模态对比损失，强制视觉与文本表征在语义上一致，能弥补模态间语义鸿沟。在构建商品多模态特征库时，可用此约束训练更好的对齐编码器，或直接在召回模型中加入该辅助损失。
- 整体架构即插即用：DDMSR 的 denoising 组件均可独立拆解，作为现有推荐模型的增强插件。对于已有序列模型（如 BST、DIEN），只需要在特征输入层和序列编码层分别接入图滤波与频域滤波，实验显示在多个公开数据集上稳定提升 3–8%，适合快速 A/B 测试验证。
面向生成式推荐的拓扑感知词元化方法
🧭 生成式推荐 · 拓扑保持词元化
University of Illinois Urbana-Champaign
提出多级蒸馏框架 TopoTok，在量化过程中保留项目拓扑结构，缓解失真，召回率最高提升 9.42%
📌 工作参考价值（4 点）
- 生成式推荐中项目嵌入量化为 token 时常破坏物品间邻近关系，可借鉴 TopoTok 的多级蒸馏框架来训练电商中商品 tokenizer，使相似商品的 token 表征也接近，提升下一项预测准确率。
- 组间/组内/项目间三级蒸馏可逐步恢复粗到细的拓扑，在业务中可对商品进行层次聚类，用预训练商品嵌入通过类似目标微调量化器，维持层级相似性，尤其有益于长尾商品和冷启动。
- TopoTok 作为即插即用的 tokenizer 增强，不需改动现有生成式推荐主干模型，工程改造成本低，可直接串联在 TIGER 等框架中。
- 实验证实 Recall@5 最高有 9.42% 的绝对提升，说明拓扑保持对推荐精度有直接且显著的价值，可迁移到电商的搜索联想、推荐补全、交叉销售等自回归生成场景。
递归推理隐兴趣的序列推荐
🧭 序列推荐 · 隐兴趣递归推理
解耦推理与预测，用兴趣压缩和递归推理模块在隐空间逐步精炼，深度可调且无需RL
📌 工作参考价值（4 点）
- Context Compressor 将用户序列压缩为多个隐兴趣向量，配合 Interest Diversity Regularizer 迫使各兴趣捕获不同行为侧面，可直接作为电商多兴趣召回或用户理解模块
- Recursive Reasoner 在独立的隐空间对兴趣进行递归式精炼，这种“逐步思考”的范式可用于带货直播、购物车序列等长序列场景，捕捉演化意图
- 推理深度可动态调节：线上可根据 latency 预算自由选择递归步数，浅层做低延迟预测，深层提升准确率，无需重新训练模型
- 框架完全监督化，无 RL 训练负担，工程实现简单；解耦的设计让 Backbone、Compressor、Reasoner 可单独替换或蒸馏，便于在已有推荐系统上增量叠加推理能力
学会遗忘：饱足感感知的长序列转换器缓解购买后冗余推荐
🧭 序列推荐 · 兴趣生命周期建模
提出饱足感感知机制，建模兴趣退出与唤醒周期，将购买后重复推荐率降低超60%
📌 工作参考价值（4 点）
- 区分点击与购买信号：购买常标志意图结束，应实时抑制同类推荐，避免刚买又推相同品类。
- 引入兴趣饱和与唤醒机制：可借鉴自适应饱和门控（ASGU），购买后立即施加“遗忘”掩码，并随时间衰减逐步恢复，结合预测的下次购买周期动态调节。
- 双路径交叉注意力设计：一条路径抑制已完成意图的历史点击，另一条从长期序列提取补货规律，适合分离即时兴趣与周期性需求。
- 自监督辅助任务：预测下次购买时间（TTNP）无需人工标注，可迁移到其他推荐场景学习商品生命周期。
序列推荐中大型多模态嵌入模型的流感知侧适配
🧭 序列推荐 · 多模态大模型侧适配
University of Glasgow · Telefónica Scientific Research, Telefónica Innovación Digital · Shandong University
提出流感知侧适配框架Stresa，用SHAF保留历史记忆和ReSA选择性残差更新，根治深层侧适配退化
📌 工作参考价值（4 点）
- 使用预训练多模态大模型（如商品图文）得到通用语义嵌入，再用侧适配器调整到推荐域，可避免全量微调，大幅降低训练成本，适合电商快速迭代。
- SHAF 和 ReSA 可插拔于任何冻结的 Transformer 骨干，深层适配不再退化，能有效利用中间层隐藏状态提升序列建模。
- 流感知融合保留历史侧信息，适合商品交互序列中长短期偏好捕捉，可迁移到点击率预估等任务。
- 侧适配器计算量极小，易于线上部署，且支持热插拔更换下游任务，适合多场景复用同一多模态基座。
超越物品顺序：面向生成式语义ID推荐的时间间隔分词
🧭 生成式推荐 · 时序建模 ★ 深度解读
University of New South Wales · Macquarie University · CSIRO's Data61
提出 ChronoSID，通过在物品表征学习和序列生成中注入离散时间间隔令牌，显著提升语义ID生成式推荐效果
📌 工作参考价值（4 点）
- 将交互间隔按 log-scale 离散为固定桶（<1h, 1h~1d, 1d~1w, 1w~1mo, ≥1mo）作为特殊 token 插入编码器输入，解码器不变，工程改动小，可直接增强现有语义ID生成式推荐模型。
- TA-FAMAE 在物品表征训练中增加辅助时间间隔回归任务，可作为正则项迁移到基于掩码自编码的商品 embedding 预训练中，在不改动线上推理的前提下提升序列建模对时间漂移的鲁棒性。
- 间隙 token 注入策略对编码器长度仅增加 1/3，训练开销可控（训练时间增幅 7%~29%），适合电商场景下的大规模序列建模。
- 长间隔场景（如≥1个月回访）推荐质量提升更明显，特别适合电商中促销召回、换季推荐等用户兴趣易漂移的场景，可作为召回粗排环节的时序增强插件。
直觉引导的潜在推理用于大语言模型推荐
🧭 生成式推荐 · 潜在推理直觉引导 ★ 深度解读
Beihang University · University of Science and Technology of China · The Chinese University of Hong Kong · National University of Singapore · Meta AI
提出 IntuRec，通过 top-K 候选集构建推荐直觉，注入推理起始点，大幅提升 LLM 潜在推荐推理的准确性和效率
📌 工作参考价值（4 点）
- 可用 top-K 候选集约束 LLM 潜在推理的起始点：先在 ISE 阶段用标准的 next-token loss 训练 LLM 生成候选，再用 beam search 产出离线候选集，作为“直觉”源——这套流程可直接嵌入现有的生成式推荐管线，提升推理起始点的语义匹配度。
- TACB（目标感知候选平衡）可复用：训练时按验证集正样本覆盖率动态调整候选集中目标物品的保留概率，能有效防止捷径学习，维持训练-评测分布一致，适合迁移到所有需要从候选池中学习偏好表征的场景。
- IDAE 双注意力编码器设计值得借鉴：对每个候选物品独立做 self-attention 提取物品级表示，再用 cross-attention 以初始状态作为 query 融合历史信息，生成直觉嵌入——这种结构可应用于精排或召回链路，用轻量 attention 融合候选与用户历史，生成高质量起始向量。
- BPR 直觉对齐损失提供了一种偏好信号注入方式：强制直觉嵌入比负例更靠近目标物品嵌入，可在不增加标签成本的情况下为隐空间推理提供监督，尤其适合在缺乏显式反馈时，对齐候选与用户真实偏好。
点击到意图：金融推荐中跨平台会话嵌入与LLM意图蒸馏
🧭 跨平台会话嵌入与LLM意图蒸馏 ★ 深度解读
Capital One
自监督Transformer编码多模态点击流生成会话嵌入，并蒸馏LLM意图分类器，提升跨平台推荐与可解释性
📌 工作参考价值（4 点）
- 跨平台预登录信号复用：在电商中可借鉴类似架构，将匿名用户浏览行为（商品查看、停留时间、页面内容）通过自监督Transformer编码为固定维度会话向量，登陆后与已认证用户关联，直接作为召回或排序模型的输入特征，弥补通常被丢弃的预登录意图。
- LLM蒸馏提供可解释意图标签：用聚类采样让LLM迭代生成意图分类体系，再将LLM标注蒸馏为轻量MLP，实现毫秒级意图预测。推荐系统可将蒸馏出的意图标签用于用户分群、冷启动策略（如“正在比较信用卡的用户”），或是作为可解释特征注入排序层，比粗糙的页面计数特征富含更强语义。
- 双输出设计兼顾性能与分析：同一嵌入空间既产出高精度稠密向量用于排序/转化预测，又可蒸馏出人可读的意图标签用于业务分析、归因解释，工程上可复用一个Transformer编码器，在损失极小准确率（7%）的前提下大幅降低推理成本与延迟（3000+倍加速）。
- 无标注自监督预训练：序列预测任务（预测下一页标题或URL）无标注，简单有效，适合利用大规模浏览点击日志进行预训练，后续可微调用于具体业务目标，降低标注依赖。
S2-CAR：分割监督的复杂度自适应推荐
🧭 顺序推荐 · 意图分割与多兴趣建模 ★ 深度解读
University of Technology Sydney · City University of Macau · The Education University of Hong Kong
通过连续能量衰减建模意图动态实现无监督分段，结合自适应多兴趣提取与对比辅助训练，提升长序列中间信号利用
📌 工作参考价值（4 点）
- 无监督意图分割插件：利用 Soft-TPP 基于行为动态划分 session，可在电商推荐系统中替代固定时间窗规则，避免硬切分导致的意图错位，尤其适合处理用户长期后重回同一品类时的意图连续性问题。
- 分段自适应的兴趣压缩：根据分段数量动态调整兴趣槽位，引入压缩比 ρ 抑制周期重复兴趣的浪费，能生成更紧凑的用户多兴趣向量，在召回或排序阶段降低计算和存储开销。
- 层次对比辅助训练：训练时加入基于分段的全局兴趣编码器作为教师信号，通过对比损失正则化因果序列编码器，推理时丢弃，零额外延迟提升长序列建模能力，可直接迁移到现有的 Transformer 推荐模型。
- 边界类型嵌入：将分段边界标志作为可学习嵌入加入物品表示，仅增加微小参数量，便能让模型显式感知意图变迁，该 trick 可方便集成到自注意力架构中。
扩大Transformer推荐模型规模时流行度偏差的放大陷阱及其缓解
🧭 序列推荐 · 流行度偏差与谱正则化 ★ 深度解读
Zhejiang University · University of Science and Technology of China
揭示Transformer序列推荐深度缩放导致谱坍缩放大流行度偏差，提出层级谱正则化方法SPRINT实现准确性与公平的双赢。
📌 工作参考价值（4 点）
- 在电商/广告推荐中扩大Transformer深度时，需警惕流行度偏差同步放大，导致长尾物品曝光下降；SPRINT 的注意力和前馈正则化可直接嵌入现有架构，以极小计算成本（~3%训练时间）控制谱范数。
- 具体实现：对自注意力矩阵的列和施加logsumexp平滑上界，防止少数热门物品垄断注意力权重；对前馈权重用幂迭代估计谱范数并正则化，抑制深度网络中的低秩坍缩。
- 两个正则项联合可使模型在扩大规模时保持准确率和公平性的帕累托前沿，例如在SASRec++上NDCG@5提升15.7%，Fair-0.8提升7.12%，适合大规模排序系统。
- 方法对Transformer模块通用，已验证可迁移至生成式推荐（TIGER、LETTER），实现长尾曝光提升，为工业级模型扩展提供了偏差控制方案。
SAERec: 利用稀疏自编码器构建细粒度可解释意图先验的推荐
🧭 意图感知推荐 · 稀疏自编码器解耦 ★ 深度解读
University of Georgia · Shanghai AI Laboratory · The Education University of Hong Kong · Jilin University · The Hong Kong Polytechnic University
利用稀疏自编码器从评论文本中解耦出可解释意图先验，并融合个性化与公共意图提升序列推荐
📌 工作参考价值（4 点）
- 意图先验的自动构建：利用稀疏自编码器（SAE）将LLM文本嵌入解耦为高维稀疏特征，通过关键词对齐和LLM过滤自动生成细粒度意图集，无需预设意图数量，适合电商场景中意图多样且快速变化的情况。意图构建离线完成，直接复用现有文本语料（评论/描述）。
- 双级意图检索平衡个性化与泛化：从意图集中为每个用户检索个人意图（与序列特征余弦相似度）和公共意图（EMA加权全局高频意图），简单有效，可嵌入到各种序列模型（如SASRec）中，增强冷启和噪声场景下的稳定性。
- 多分支注意力与自适应融合：独立建模个人意图、公共意图和时序依赖，再通过自适应权重融合，为意图注入提供通用范式，可直接迁移至电商推荐的精排或召回模块。
- 工程可实现性：SAE训练仅需少量GPU（<3GB），意图集一次构建可复用；检索和注意力计算轻量，训练时间随数据量线性增长，适合大规模落地。意图操纵可导向推荐分布，便于业务干预。
ReaEmb：隐式推理增强与协作奖励强化学习的两阶段LLM嵌入生成框架
🧭 LLM生成式推荐Embedding · 隐式推理+RL协作注入 ★ 深度解读
西安交通大学
通过隐式推理增强对比学习与协同奖励强化学习，让LLM生成的物品嵌入同时捕获深层语义和共现关系，提升序列推荐效果。
📌 工作参考价值（5 点）
- 两阶段核心理念可复现：先做语义增强（隐式推理+对比学习），再做协同信号注入（RL奖励优化），解耦训练，可在自己的LLM推荐embedding场景中直接参照。
- 隐式推理token的轻量化设计：仅增加一个轻量attention模块生成多个推理token，然后送入LLM二次前向得到embedding，训练和推理成本低，可离线缓存。适用于需要LLM理解物品属性多义的电商场景（如商品标题、品类、品牌组合）。
- 基于共现的奖励函数简单有效：用互作用序列统计物品共现次数，设计奖励让高共现物品对嵌入更近，无需昂贵的标注或用户反馈。这直接对标推荐系统中的协同过滤思想，可快速应用到广告或推荐系统的物品向量生成。
- RL的batch级优势估计稳定训练：舍弃组内归一化，改用噪声-free样本的batch均值作基线，解决了噪声扰动下的训练震荡，该trick可移植到其他RL优化embedding的场景。
- 长尾与热门兼顾：实验表明，该方法在整体和长尾推荐上都显著优于现有LLM2Emb、LLM2Vec等方法，且不同LLM架构（Qwen、Llama）下均可稳定提升，适合处理物品冷启动问题。
合成先验预训练的单模型跨域序列推荐
🧭 免更新序列推荐 · 合成先验预训练 ★ 深度解读
Korea Advanced Institute of Science & Technology
SRPFN利用合成先验预训练与支持集条件推断，实现序列推荐无更新跨域泛化，平均提升7.53%。
📌 工作参考价值（4 点）
- 冷启动与品类扩展：新品类上线时，仅从已有交互构建低秩SVD嵌入+支持集，一分钟内即可复用预训练模型做推荐，无需重训模型。
- 长尾物品优化：采用基于转移概率采样支持集的方式，显著提升长尾物品命中率（Beauty Tail HR@5 +55.5%），可在推荐系统中用于长尾item的打捞。
- 合成先验数据增强：用hDCSBM+变阶随机游走生成海量、多样的合成训练序列，可预训练一个通用推荐基座，提升跨场景泛化能力。
- 架构迁移：编码器中的门控残差更新与方向性转移嵌入（源/目标分离）可嵌入现有Transformer推荐模型，增强对物品转移方向的敏感度。
ChronoID：为生成式推荐注入显式时序信号的语义ID学习框架
🧭 生成式推荐 · 时序语义ID ★ 深度解读
University of Rochester · Meta MRS · MBZUAI
系统性探索如何将时间信号融入语义ID，提出相对时间编码+并行量化+晚融合的最佳方案，显著提升生成式推荐性能。
📌 工作参考价值（4 点）
- 在构建语义ID时，将时间特征独立量化后与物品ID拼接（late fusion），避免异构特征被强制压缩进同一codebook，防止表示坍缩。
- 使用相对时间间隔（用户相邻交互的时间差）替代绝对时间戳作为时间编码，更有效捕获交互节奏，提升ID判别性；业务中可直接基于事件时间差构造此类特征。
- 并行量化比残差量化更适合融合文本与时间信息，可防止错误累积，生成解耦、高质的语义ID；在需要融合多模态信号的生成式推荐中值得尝试。
- 构造时间敏感的离线评估集时，严格按全局时间点切分训练/测试（如指定截止日期），避免未来信息泄露，使离线评估更贴近线上真实分布；该方法简单有效，可直接用于实际系统。
个性化动态超图增强的KAN-Transformer多行为序列推荐
🧭 多行为序列推荐 · 超图与KAN ★ 深度解读
Hangzhou Dianzi University · Sanya Traditional Chinese Medicine Hospital · Rocket Force University of Engineering · NetEase Inc.
融合个性化动态超图与KAN-Transformer，同时捕捉行为异质高阶关系和细粒度非线性模式
📌 工作参考价值（4 点）
- 动态行为权重超图：针对电商多行为（浏览、加购、购买），根据用户历史行为计算个性化权重，加权 item 相似度矩阵构建动态超边，有效捕捉用户特定的高阶行为关系，可直接增强推荐系统中辅助行为的利用效率。
- KAN 替换 FFN：用 Kolmogorov-Arnold Network 替代 Transformer 中的前馈网络，按输入维度学习独立的径向基函数组合，为不同潜在行为模式提供专用响应函数，解决标准 FFN 的“共享映射”问题，在行为序列建模中可提升细粒度拟合能力。
- 双分支融合架构：超图分支捕获结构与共现关系，KAN-Transformer 分支建模时序与非线性偏好演化，通过可学习的融合系数平衡两者，适用于电商场景中复杂行为序列的联合建模。
- 行为权重先验：对各行为类型预设差异化初始权重（如购买=1，加购=0.7，浏览=0.3），与数据集动态匹配，可作为工业级多行为推荐的基础配置，降低噪声行为干扰。
BAHSD：通过自适应蒸馏弥合黑盒序列推荐中的长尾差距
🧭 黑盒蒸馏 · 序列推荐长尾优化
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Beijing Institute for General Artificial Intelligence
提出自适应蒸馏框架 BAHSD，用多尺度一致性探测与层次化目标缓解黑盒序列推荐中长尾信号异质性问题，尾部用户提升超 80%
📌 工作参考价值（4 点）
- 若业务需从黑盒推荐 API 蒸馏学生模型，可借鉴自适应信号处理：用多尺度一致性隐式量化 teacher 预测的可靠性，再分治高低置信度样本。
- 对头部用户易出现的偏好固化问题，采用动态温度 KL 散度平滑 teacher 分布，避免学生过度拟合局部模式，可迁移到召回/排序模型的蒸馏训练。
- 对尾部用户交互稀疏、信号嘈杂的场景，引入排序一致性损失和 InfoNCE 对比学习，可提升学生模型的泛化性与噪声鲁棒性，适合电商长尾商品/冷启用户建模。
- 该框架为即插即用方案，可在不改变基座模型结构的情况下以多层损失注入，工程实现成本较低，适合快速验证。
VirtualMLE：通过LLM Agent反思与记忆实现序列推荐自动调优
🧭 LLM Agent 自动化推荐模型调优 ★ 深度解读
Tsinghua University · Beijing University of Posts and Telecommunications
用LLM Agent构建反思-记忆闭环，将序列推荐调优转化为可迁移的认知推理，大幅降低试错次数
📌 工作参考价值（4 点）
- 将LLM嵌入模型调优流程：可借鉴VirtualMLE的“执行-反思-记忆更新”闭环，在推荐模型上线前的调参阶段，用LLM agent替代人工或贝叶斯优化，自动分析试验结果并诊断瓶颈，减少工程师重复劳动。
- 层次化记忆复用调优经验：长期记忆存储跨数据集的通用启发（如稀疏数据适合强正则化、注意力模块宜用较低学习率），短期记忆记录当前搜索轨迹。在电商多域（首页猜你喜欢、详情页关联推荐等）场景下，可以把已优化域的知识快速迁移到新频道，降低冷启动成本。
- 反思模块输出因果归因：每次试验后让LLM生成“哪个改动导致了什么结果”的归因摘要，指导后续搜索方向。实际工作中可嵌入到AutoML pipeline里，作为可解释的搜索记录，辅助人工决策。
- 认知摘要实现跨任务迁移：将完整调优轨迹蒸馏为Cognition Summary（如“相对位置编码优于绝对+相对”、“embedding tying对稀疏数据有益”），作为新数据集的初始先验，能在电商多品类推荐中显著加速收敛（论文中跨域迁移只需1/3试验次数）。
基于偏好解耦的时间感知扩散生成式推荐
🧭 生成式推荐 · 时间感知扩散与偏好解耦 ★ 深度解读
Central South University · National Super Computing Center (Tianjin) · Renmin University of China · Hong Kong Polytechnic University
首次将时间演化偏好解耦为长期与短期，并融入扩散过程的非均匀掩码，提升生成式推荐。
📌 工作参考价值（4 点）
- 非均匀掩码策略可迁移至电商序列推荐：对近期交互和行为突变点施以更高掩码率，迫使模型学习短期兴趣与长期规律的权衡，提升下次购买预测。
- 两阶段训练（warm‑up + time‑aware）如同预训练‑微调，先在通用语义空间学习 SID 共现，再注入时间与偏差信号，工程上易于实现且稳定。
- 偏好解耦思路（period 偏好 + point 偏好）可直接用于 Agent 决策序列建模，区分持久策略与情境突变，提高多智体协作中的策略生成质量。
- 约束解码与 Trie 树的结合确保生成 SID 对应有效物品，避免幻觉，适合落地到电商生成式召回或 query 推荐中。
FOSTER：面向文本序列推荐的一阶数据集蒸馏框架
🧭 推荐系统训练加速 · 数据集蒸馏 ★ 深度解读
The University of Queensland · Griffith University · Amazon International Machine Learning
通过随机项目子集采样、一阶优化与轨迹锚定重置，用极少合成序列逼近全量文本序列推荐性能。
📌 工作参考价值（4 点）
- 用合成序列替代全量数据加速模型迭代：在需要频繁更新模型的电商场景，可将全量用户交互序列蒸馏成少量合成序列（如20条），下游模型训练时间从小时级降至分钟级，且性能不降，适合在线学习或快速实验。
- 随机项目子集采样避免全量计算：蒸馏过程每步仅采样512个项目计算概率，而非整个商品库，显著降低显存和计算量；该方法可直接迁移到任何需要全库 softmax 的场景，类似负采样但更稳定。
- 一阶优化替代双层优化降低工程复杂度：将双层问题转化为带约束的单层问题，用一阶梯度更新合成数据和模型参数，消除昂贵的高阶梯度计算；在资源受限（如单卡 24 GB）环境下，比传统 BPTT 方案内存降低 25 倍，且收敛更快。
- 显式对齐项共现语义可提升蒸馏质量：当推荐模型使用嵌入绑定时，引入正则化项迫使语义相似商品在合成序列中具有相似的条件分布，能有效避免合成数据退化到只包含热门商品，提升冷门商品的表达能力，对保持推荐多样性有帮助。
ACE：面向LLM增强序列推荐的可控各向异性嵌入
🧭 序列推荐 · LLM嵌入初始化 · 各向异性控制 ★ 深度解读
Sungkyunkwan University
用线性自编码器连续控制LLM嵌入的各向异性程度，缓解几何不平衡并保留语义层次，提升序列推荐效果。
📌 工作参考价值（4 点）
- LLM物品嵌⼊预处理的标准化步骤：在电商/推荐业务中，如果使用大模型（如text-embedding-3-large）生成商品编码，可直接套用ACE进行后处理：对嵌入矩阵做SVD，用收缩函数 $g_\lambda(\sigma)=\sqrt{\sigma^2/(\sigma^2+\lambda)}$ 调整奇异值，再降维至目标维度。该操作是闭式解，计算开销小，可无缝集成到现有训练流程中。
- 平衡语义保留与各向同性：完全的白化（Whitening）会破坏语义主次，导致效果不稳定。ACE通过调节 $\lambda$ 提供连续控制，让从业者能在语义保真度和几何均匀性之间折中，避免因过度白化而损失重要语义方向。
- 架构无关的嵌入初始化：ACE对不同SR骨架（SASRec、GRU4Rec、BERT4Rec）均有效，说明该方法可作为通用初始化策略，应用到召回/排序模型的特征层，尤其在冷启动或语义稀疏场景下表现突出。
- 超参 $\lambda$ 的选择经验：实验表明中等 $\lambda$ （如10²量级）普遍最佳，可根据验证集Recall@K快速搜索；同时配合缩放因子 $\gamma$ 控制嵌入范数，避免过小或过大影响模型收敛。
LoopFM：基于基础模型历史表征的推荐知识迁移
🧭 知识蒸馏优化 · 历史表示结构化 ★ 深度解读
Meta AI
将大模型历史中间层嵌入压缩并序列化为小模型输入特征，打破标量知识蒸馏的带宽瓶颈。
📌 工作参考价值（4 点）
- 离线生成用户侧序列特征：将大模型已产生的历史交互 embedding 按键（如 user ID）压缩成时间序列，作为 lightweight 模型的直接输入，无需实时推理大模型，显著降低在线延迟。
- 正交填充知识缺口：LoopFM 序列提供跨域、跨特征交互信息，与标量 KD 互补；在线上可并行部署两条迁移通道，提升整体迁移率（内部实验迁移率翻倍）。
- 以压缩控制成本，以结构保留时序信号：用自动编码器 + Matryoshka 维度灵活 + INT4 量化，可实现 4× 存储压缩；序列化方式比简单池化更好（DMIN attention 优于 mean-pool），但 sum-pool 也能捕获大部分增益，可按成本选择。
- 容量差距越大收益越高：小模型直接学高基数 ID 序列效果差，而 LoopFM 提供的低维、信息浓缩表示使小模型直接受益，这适合电商推荐中的重模型-轻模型架构。
不确定性引导的未来学习增强序列推荐
🧭 序列推荐 · 未来监督 · 不确定性估计 ★ 深度解读
City University of Hong Kong · Shenzhen Technology University · Peking University · Huazhong University of Science and Technology
提出不确定感知框架，根据模型对当前预测的置信度动态调节多步未来监督权重，显著提升序列推荐性能
📌 工作参考价值（4 点）
- 自适应未来监督权重：用当前预测的熵计算实例级权重，对不确定样本降低未来监督强度，避免噪声注入。可直接复用到电商序列模型的训练中，尤其适合用户行为稀疏或点击噪声多的场景。
- 零推理开销的辅助训练：未来监督和对比学习仅作为训练期正则化，推理时完全移除，不增加线上延时。业务中可放心加入未来辅助任务，不影响部署效率。
- 未来对比学习对齐全局趋势：将未来K个物品的嵌入做平均池化作为“未来视野”正样本，与当前用户表示对齐，然后区分其他用户的未来视野。这种全局偏好对齐可强化用户长期兴趣的建模，适合长周期购买决策的商品推荐。
- 模型无关的即插即用设计：框架可集成到Transformer、LLM增强等不同骨干结构上，实验表明对SASRec、DuoRec、LLM-ESR均有稳定提升，适合在现有推荐系统中快速尝试。
基于LLM的多模态音乐推荐系统
🧭 多模态序列推荐 · LLM增强
University of Massachusetts · Dolby Laboratories · Adobe Research · Cisco Research
在序列推荐框架中融合音频、歌词、LLM语义元数据与听歌完成率，大幅提升召回与NDCG
📌 工作参考价值（4 点）
- 电商场景可借鉴多模态商品表示：用预训练模型提取商品图像、标题等特征，拼接或交叉注入序列推荐模型，简单涨点明显。
- LLM生成结构化语义标签（如风格、场景）可作为额外的文本特征，类似商品属性扩展，在冷启或稀疏交互下尤其有效。
- 注意多模态融合并非简单拼接就能叠加收益，文中发现朴素融合可能不增反降，实践中需探索交叉注意力或门控机制。
- 利用行为强度信号（如停留时长、转化率）替代二元交互，能提供更丰富的用户兴趣强度信息，改进序列建模。
RAGR：评论增强的生成式推荐
🧭 生成式推荐 · 用户评论增强 ★ 深度解读
Dalian University of Technology · City University of Hong Kong · Huawei Technologies Ltd.
将用户评论反馈编码为语义ID融入生成式用户序列，并通过DPO对齐确保模型偏好物品生成而非评论生成。
📌 工作参考价值（4 点）
- 用户反馈文本可直接转为语义ID注入生成序列：在电商评论场景中，可利用现有多模态编码器（如T5）将商品标题、评论等文本预先量化为离散语义ID，与物品语义ID按时间交错拼接，直接改造任意生成式推荐模型（如TIGER）的输入，无需改动模型架构。
- 引入评论预测作为辅助任务：将下一个评论的语义ID也作为生成目标之一，与物品预测共享同一生成空间，可隐式地让模型学习“物品-评论”的共现语义，缓解物品ID空间分布集中的问题，提升长尾物品的表示学习。
- 用DPO显式对齐生成偏好：当输入序列中同时包含物品和评论ID时，构造（输入，物品ID，评论ID）三元组，使用DPO将物品ID设为偏好输出，评论ID设为拒绝输出，可简洁地防止模型在预测位置“短路”直接生成评论，确保推荐目标不漂移。
- 实体文本的语义ID tokenization 优于直接混用不同来源文本训练 tokenizer：实验表明，仅用物品文本训练RQ-VAE得到的语义ID，在效率和下游推荐性能上均优于混合物品和评论文本，可避免语义空间过于分散带来的噪声。
非对称生成式推荐：多专家投影与多面层次量化
🧭 RecSys ★ 深度解读
Tsinghua University · Tencent
提出AsymRec框架，解耦输入输出表示，用连续专家投影缓解输入端信息瓶颈，用多面子空间残差量化防止输出端维度坍塌，平均NDCG@10提升15.8%